Service-oriented Context-aware Framework

Location- and context-aware services are emerging technologies in mobile and desktop environments, however, most of them are difficult to use and do not seem to be beneficial enough. Our research focuses on designing and creating a service-oriented framework that helps location- and context-aware, client-service type application development and use. Location information is combined with other contexts such as the users' history, preferences and disabilities. The framework also handles the spatial model of the environment (e.g. map of a room or a building) as a context. The framework is built on a semantic backend where the ontologies are represented using the OWL description language. The use of ontologies enables the framework to run inference tasks and to easily adapt to new context types. The framework contains a compatibility layer for positioning devices, which hides the technical differences of positioning technologies and enables the combination of location data of various sources

Intelligens gépi jeltolmács beszéd- és halláskárosultaknak

A Tolmácskesztyű projekt célja egy olyan innovatív, intelligens segédeszköz megalkotása, melynek segítségével a beszéd- és halláskárosult emberek a mindennapi életben képesek kapcsolatba lépni ép embertársaikkal úgy, hogy az mindkét fél számára intuitív módon valósuljon meg. A Tolmácskesztyű rendszer jelnyelvi szinkrontolmácsként működik, segítségével a fogyatékos felhasználók jelnyelven kommunikálhatnak az épekkel, akik a jelelt szöveget felolvasva hallják. A projekt során egy összetett hardver- és szoftverrendszert fejlesztünk ki. A kézmozgás érzékeléséhez szükséges szenzorokat, elektronikát és kommunikációs hardvert ergonomikusan integrálja a kesztyű, melyet a felhasználók az egyik kezükön viselhetnek. Segítségével Daktil jeleket (betűket), valamint betanított saját kifejezésekhez rendelt gesztusokat mutathatnak, melyeket a rendszer felismer. A komplex számítási feladatok elvégzéséért a felhasználó mobiltelefonja felelős: a gesztusleírók sorozatából betűket, azok természetes nyelvi feldolgozása során pedig szöveget állít elő, melyből beszédet szintetizál és végül felolvas

Hely- és kontextusfüggő alkalmazások fejlesztését támogató keretrendszer mobil környezetben

A keretrendszer mobil kommunikációs eszközön futtatható hely- és kontextusfüggő szolgáltatást használó alkalmazások fejlesztését támogatja és egyben megkönnyíti azok felhasználását. A keretrendszer a felhasználó többféle kontextusával (tulajdonságával, körülményével, állapotával) dolgozik, így képes ezen adatok kombinálásával magas absztrakciós szintű kérdésekre válaszolni. A kontextusok között kiemelkedő szerepet játszik a pozíció, mely információt akár többféle helymeghatározási technológia eredményeinek kombinálásával állít elő a rendszer. A helymeghatározásra több féle, egymástól eltérő technológiák léteznek pl. GPS, WLAN, RFID, GSM. Ezek más-más eszközöket, kezelést, felhasználási módot igényelnek. A keretrendszer ezen technológiák különbözőségeit elfedi mind a felhasználók mind pedig a programfejlesztők elől, így a helyfüggő szolgáltatások a helymeghatározó eszközöktől függetlenül készíthetők el és használhatók fel. A különféle helymeghatározási eszközökből kinyert eredmények kombinálhatók, így növelhető a pozíció-információ pontossága valamint kiterjeszthető a helymeghatározási szolgáltatás lefedettsége. A helyfüggő szolgáltatások úgy tudnak jól használható eredményt nyújtani, ha figyelembe veszik a valós környezet adottságait. A keretrendszer a környezet modelljén (pl. épületek és azok beosztása, berendezései) képes következtetéseket végezni. Ha például egy felhasználó a leggyorsabban elérhető kórházat keresi, akkor egy hagyományos rendszer egy légvonalban ugyan közeli, de elérhetetlen fekvésűt ajánlana (pl. a folyó túloldalán). Ezzel szemben a környezeti modellt (ebben az esetben az úthálózatot) ismerve az ilyen hibák elkerülhetők. A „hely” jellemzőn kívül további kontextusok felhasználásával a szolgáltatások jelentősen gazdagabbá, életszerűbbé tehetők. Ilyen kontextusok lehetnek például a felhasználók preferenciái, akadályozottsága stb. A keretrendszert az teszi képessé valósághű szituációkból adódó, absztrakt, a mindennapi szituációkhoz közelebb álló, az igényeket pontosabban kielégítő kérdésekre választ adni, hogy ezen többletinformációkat (felhasználói kontextusokat) is képes figyelembe venni. A keretrendszer a mobil szolgáltatások terén hasznosítható elsősorban. Megkönnyíti a hely- és kontextusfüggő szolgáltatások fejlesztését, illetve lehetővé teszi egészen újszerű, modern szolgáltatások megalkotását

A hely nem elég

Asztali és mobil környezetben egyaránt egyre több helyfüggő és kontextusszenzitív szolgáltatással találkozhatnak a felhasználók, de ezen szolgáltatások általában nem elég hasznosak, igénybevételük sokszor nehézkes. Kutatásaink során egy olyan rendszer tervezésével és kifejlesztésével foglalkozunk, mely segít az összetett helyfüggő és kontextusszenzitív szolgáltatások és kliens-szerver jellegű alkalmazások fejlesztésében és felhasználásában. Számos olyan alkalmazás létezik, mely képes alkalmazni vagy a felhasználó pozícióját vagy más jellemzőjét. A mobilszolgáltatások terén elterjedt az aktuális pozíciót figyelembe venni, a számítógépes alkalmazások pedig szinte minden esetben használják a felhasználó beállításait. Igazán érdekes és értékes szolgáltatásokat azonban a felhasználó kölönféle jellemzőinek és körölményeinek az együttes felhasználásával lehet készíteni; ez a koncepció adja rendszerünk értékét és egyediségét

Multimodális kommunikáció alkalmazása projektvezetésben

Napjaink intenzív kommunikációra alapuló információs társadalmában egyre nagyobb hangsúlyt kap a testreszabható, intelligens, rugalmas és alkalmazkodó információtovábbítás, mely nem kötődik csak egyetlen médiumhoz. Ez a törekvés érvényes a projektvezetés témakörében is, mely a projektkezelő rendszerek multimodalitásában mutatkozik meg. A Promóció projekt keretein belül megvalósított projektkezelő rendszer képes a felhasználók felé irányuló kommunikáció többalakú, többmódú megvalósítására. Ennek lényege, hogy a felhasználó és a rendszer közötti információáramlásra nincs egyetlen dedikált csatorna (technológia). Közvetlenül az adatközvetítés előtt döntés születik a felhasználandó médiumról, mely lehet például email (elektronikus levél), SMS (rövid szöveges üzenet) vagy akár hangüzenet (telefonos hívás és Text-To-Speech motor ötvözésével). A felhasználók felé továbbítandó üzenetek absztrakt formában keletkeznek. A kézbesítés módja a projektkezelő rendszerbe épített logika alapján dől el. Ha például a felhasználó nem válaszol 10 percen belül egy emailre, akkor mobiltelefonon keresztül próbáljuk elérni. Nappal a gyors reszponzivitás érdekében hanghívással, éjszaka viszont SMS-t használva. A projektkezelő rendszer multimodális megoldást alkalmaz a kérdőívek kitöltésére is. A létrehozott kérdőívek felhasználóhoz rendelhetők, opcionálisan definiálható, hogy mely projekt mely feladatában válnak aktuálissá. A kérdések megválaszolására a felhasználói felületen kívül lehetőség van telefonnal is, ez különösen hasznos offline (például terepen dolgozó) felhasználók esetén. A kérdőívek XML formátumra alakítását követően a Text-To-Speech motor beolvassa a kérdéseket, és a telefonbillentyűk segítségével megadhatók a válaszok, melyeket a rendszer eltárol

Mutasd a hangod – automatikus jeltolmács

A Tolmácskesztyű projektben egy olyan segédeszközt alkotunk, mellyel a beszéd- és halláskárosult emberek kézmozgását, vagyis gesztusokat használva képesek a mindennapi életben kapcsolatot teremteni ép embertársaikkal. A kifejlesztett segédeszköz egy innovatív hardver-szoftver-rendszer, amely kézmozgást érzékelő kesztyűből valamint kézjeleket felismerő és nyelvi feldolgozást végző szoftverből áll. A Tolmácskesztyű eszközrendszer jelnyelvi szinkrontolmácsként működik, segítségével a fogyatékkal élők anyanyelvükön – vagyis jelnyelven – kommunikálhatnak az épekkel. A Tolmácskesztyű applikáció a jelelt szöveget hangosan felolvassa, így a sérültek és a (jelnyelvet nem ismerő) épek között folytonos kommunikáció jön létre

CrossMedia: Supporting Collaborative Research of Media Retrieval

AbstractThe goal of our new e-science platform is to support collaborative research communities by providing a simple solution to jointly develop semantic- and media search algorithms on common and challenging datasets processed by novel feature extractors. Querying of nearest neighbor (NN) elements on large data collections is an important task for several information or content retrieval tasks. In the paper a flexible framework for research purposes is introduced for testing features, metrics, distances and indexing structures. The core part of the content based retrieval system is the LHI-tree, a disk-based index scheme for fast retrieval of multimodal features. Additionally, we compare LHI-tree to FLANN, an effective implementation of ANN search and show that LHI-tree gives similar list of retrieved images